Split Learning (SL) and Federated Learning (FL) are two prominent distributed collaborative learning techniques that maintain data privacy by allowing clients to never share their private data with other clients and servers, and fined extensive IoT applications in smart healthcare, smart cities, and smart industry. Prior work has extensively explored the security vulnerabilities of FL in the form of poisoning attacks. To mitigate the effect of these attacks, several defenses have also been proposed. Recently, a hybrid of both learning techniques has emerged (commonly known as SplitFed) that capitalizes on their advantages (fast training) and eliminates their intrinsic disadvantages (centralized model updates). In this paper, we perform the first ever empirical analysis of SplitFed's robustness to strong model poisoning attacks. We observe that the model updates in SplitFed have significantly smaller dimensionality as compared to FL that is known to have the curse of dimensionality. We show that large models that have higher dimensionality are more susceptible to privacy and security attacks, whereas the clients in SplitFed do not have the complete model and have lower dimensionality, making them more robust to existing model poisoning attacks. Our results show that the accuracy reduction due to the model poisoning attack is 5x lower for SplitFed compared to FL.
translated by 谷歌翻译
联合学习(FL)允许相互不信任的客户可以协作培训通用的机器学习模型,而无需共享其私人/专有培训数据。不幸的是,FL很容易受到恶意客户的中毒,他们旨在通过在FL培训过程中发送恶意模型更新来阻碍常见训练的模型的准确性。我们认为,对现有FL系统的中毒攻击成功的关键因素是客户可用的模型更新空间,使恶意客户可以通过解决优化问题来搜索最有毒的模型更新。为了解决这个问题,我们提出了联合排名学习(FRL)。 FRL将标准FL中的模型参数更新(浮点数连续空间)从模型参数更新(一个连续的空间)缩小到参数排名的空间(整数值的离散空间)。为了能够使用参数等级(而不是参数权重)训练全球模型,FRL利用了最近的SuperMasks培训机制的想法。具体而言,FRL客户端根据其本地培训数据对随机初始化的神经网络(由服务器提供)的参数进行排名。 FRL Server使用投票机制来汇总客户在每个培训时期提交的参数排名,以生成下一个培训时期的全球排名。从直觉上讲,我们基于投票的聚合机制阻止中毒客户对全球模型进行重大的对抗性修改,因为每个客户都会进行一次投票!我们通过分析证明和实验证明了FRL对中毒的鲁棒性。我们还显示了FRL的高沟通效率。我们的实验证明了FRL在现实世界中的优势。
translated by 谷歌翻译
虽然最近的作品表明,联邦学习(FL)可能易受受损客户的袭击攻击,但它们对生产流系统的实际影响尚未完全理解。在这项工作中,我们的目标是通过枚举所有可能的威胁模型,中毒变化和对手的能力来制定综合系统化。我们专注于我们对未明确的中毒攻击,正如我们认为它们与生产流动部署有关。我们通过仔细表征现实威胁模型和对抗性能力,对实际生产的流动环境下无明显中毒攻击的关键分析。我们的研究结果令人惊讶:与既定信念相反,我们表明,即使使用简单,低成本的防御,我们也会在实践中非常强大。我们进一步进一步提出了新颖的,最先进的数据和模型中毒攻击,并通过三个基准数据集进行了广泛的实验,如何(在)有效中毒攻击在存在简单的防御机制中。我们的目标是纠正以前的误解,并提供关于对本主题更准确的(更现实)的研究的具体指导。
translated by 谷歌翻译
嵌入式系统使用神经网络(NNS)的设备对数据处理数据(NNS)的处理,同时符合存储器,功率和计算约束,导致效率和准确性折衷。要将NNS带到边缘设备,通过修剪,量化和现成的架构进行了多种优化,例如具有高效设计的模型压缩,已被广泛采用。这些算法部署到现实世界敏感应用程序时,需要抵制推理攻击以保护用户培训数据的隐私。然而,对推理攻击的阻力不算用于为IOT设计NN模型。在这项工作中,我们分析了IOT设备NNS中的三维隐私 - 准确效率折衷,并提出了壁虎培训方法,在那里我们明确地将抵抗私人推广作为设计目标。我们优化嵌入式设备的推理时间内存,计算和功率约束作为设计NN体系结构的标准,同时还保留隐私。我们选择量化为高效和私人模型的设计选择。这种选择是由观察到的观察,压缩模型与基线模型相比泄漏更多信息,而现成的高效架构表明效率和隐私权衡差。我们展示使用壁虎方法训练的模型与在提供效率的准确性和隐私方面的对黑匣子成员攻击的事先防御。
translated by 谷歌翻译